Face manipulation detection has been receiving a lot of attention for the reliability and security of the face images. Recent studies focus on using auxiliary information or prior knowledge to capture robust manipulation traces, which are shown to be promising. As one of the important face features, the face depth map, which has shown to be effective in other areas such as the face recognition or face detection, is unfortunately paid little attention to in literature for detecting the manipulated face images. In this paper, we explore the possibility of incorporating the face depth map as auxiliary information to tackle the problem of face manipulation detection in real world applications. To this end, we first propose a Face Depth Map Transformer (FDMT) to estimate the face depth map patch by patch from a RGB face image, which is able to capture the local depth anomaly created due to manipulation. The estimated face depth map is then considered as auxiliary information to be integrated with the backbone features using a Multi-head Depth Attention (MDA) mechanism that is newly designed. Various experiments demonstrate the advantage of our proposed method for face manipulation detection.
translated by 谷歌翻译
Photo-realistic style transfer aims at migrating the artistic style from an exemplar style image to a content image, producing a result image without spatial distortions or unrealistic artifacts. Impressive results have been achieved by recent deep models. However, deep neural network based methods are too expensive to run in real-time. Meanwhile, bilateral grid based methods are much faster but still contain artifacts like overexposure. In this work, we propose the \textbf{Adaptive ColorMLP (AdaCM)}, an effective and efficient framework for universal photo-realistic style transfer. First, we find the complex non-linear color mapping between input and target domain can be efficiently modeled by a small multi-layer perceptron (ColorMLP) model. Then, in \textbf{AdaCM}, we adopt a CNN encoder to adaptively predict all parameters for the ColorMLP conditioned on each input content and style image pair. Experimental results demonstrate that AdaCM can generate vivid and high-quality stylization results. Meanwhile, our AdaCM is ultrafast and can process a 4K resolution image in 6ms on one V100 GPU.
translated by 谷歌翻译
最近的基于变压器的方法通过利用变压器的优势在秩序 - 不变性和建模依赖性依赖于聚合信息来实现高级云注册的高级性能。然而,它们仍然遭受模糊的特征提取,对噪音和异常值的敏感性。原因是:(1)采用CNNS由于其本地接受领域而无法模拟全球关系,导致易受噪声的提取特征; (2)变压器的浅宽度和位置编码缺乏由于效率低下的信息相互作用导致模糊的特征提取; (3)遗漏几何兼容性导致入世与异常值之间的分类不准确。为了满足以上限制,提出了一种用于点云注册的新型变压器网络,命名为深度交互式变换器(DIT),它包含:(1)点云结构提取器(PSE)来模拟全球关系,并通过变压器检索结构信息编码器; (2)深窄点特征变压器(PFT),以便于与位置编码的两个点云相互作用,使得变压器可以建立综合关联,直接学习点之间的相对位置; (3)基于几何匹配的对应置信置信度评估(GMCCE)方法来测量空间一致性,并通过设计三角形描述符来估计inlier置信度。在清洁,嘈杂,部分重叠点云注册的广泛实验表明我们的方法优于最先进的方法。
translated by 谷歌翻译
面部表现攻击检测(PAD)对于保护面部识别(FR)应用程序至关重要。 FR性能已被证明对某些人口统计学和非人口统计学组是不公平的。但是,面部垫的公平性是一个研究的问题,这主要是由于缺乏适当的注释数据。为了解决此问题,这项工作首先通过组合几个知名的PAD数据集,在其中提供了七个人类宣传的属性标签,从而提出了一个组合的注释数据集(CAAD-PAD)。然后,这项工作通过研究我们的CAAD-Pad上的四个面部垫方法,全面分析了一组面垫的公平及其与培训数据的性质和操作决策阈值分配(ODTA)的关系。同时代表垫子的公平性和绝对垫性能,我们引入了一种新颖的指标,即准确性平衡公平(ABF)。关于CAAD-PAD的广泛实验表明,训练数据和ODTA会引起性别,遮挡和其他属性组的不公平性。基于这些分析,我们提出了一种数据增强方法Fairswap,该方法旨在破坏身份/语义信息和指南模型以挖掘攻击线索而不是与属性相关的信息。详细的实验结果表明,Fairswap通常可以提高垫子性能和面部垫的公平性。
translated by 谷歌翻译
基于监督的基于学习的形态攻击检测(MAD)解决方案在处理已知变形技术和已知数据源的攻击方面取得了杰出的成功。但是,鉴于变形攻击的变化,由于现有MAD数据集的多样性和数量不足,监督的疯狂解决方案的性能大大下降。为了解决这一问题,我们通过利用现有的大规模面部识别(FR)数据集和卷积自动编码器的无监督性质,通过自定进程异常检测(SPL-MAD)提出了一个完全无监督的疯狂解决方案。使用一般的FR数据集,这些数据集可能包含无意识的和未标记的操纵样品来训练自动编码器,可以导致攻击和真正的样本的各种重建行为。我们从经验上分析了这种行为,以提供扎实的理论基础来设计我们的无监督的疯狂解决方案。这也导致建议以完全无监督的方式整合我们改良的修改后的自定进度学习范式,以增强善意和攻击样本之间的重建误差可分离性。我们对各种MAD评估数据集的实验结果表明,所提出的无监督的SPL-MAD解决方案优于广泛监督的MAD解决方案的整体性能,并为未知攻击提供了更高的概括性。
translated by 谷歌翻译
面部图像的质量显着影响底层识别算法的性能。面部图像质量评估(FIQA)估计捕获的图像的效用在实现可靠和准确的识别性能方面。在这项工作中,我们提出了一种新的学习范式,可以在培训过程中学习内部网络观察。基于此,我们所提出的CR-FiQA使用该范例来通过预测其相对分类性来估计样品的面部图像质量。基于关于其类中心和最近的负类中心的角度空间中的训练样本特征表示来测量该分类性。我们通过实验说明了面部图像质量与样本相对分类性之间的相关性。由于此类属性仅为培训数据集可观察到,因此我们建议从培训数据集中学习此属性,并利用它来预测看不见样品的质量措施。该培训同时执行,同时通过用于面部识别模型训练的角度裕度罚款的软墨损失来优化类中心。通过对八个基准和四个面部识别模型的广泛评估实验,我们展示了我们提出的CR-FiQA在最先进(SOTA)FIQ算法上的优越性。
translated by 谷歌翻译
陆地温度(LST)是监控土地面过程时的关键参数。然而,云污染和空间和时间分辨率之间的权衡大大妨碍了对高质量的热红外(TIR)遥感数据的访问。尽管采取了巨大的努力来解决这些困境,但仍然难以通过并发空间完整性和高时空分辨率产生LST估计。陆地表面模型(LSM)可用于模拟高度的时间分辨率的Genpless LST,但这通常具有低空间分辨率。在本文中,我们向卫星观察和LSM模拟LST数据提供了一个集成的温度融合框架,以通过60米的空间分辨率和半小时时间分辨率映射Gapless LST。全局线性模型(GLOLM)模型和昼夜陆地表面温度周期(DTC)模型分别作为预处理步骤进行传感器和不同LST数据之间的时间归一化。然后使用基于滤波器的时空集成融合模型融合Landsat LST,适度分辨率成像光谱仪(MODIS)LST和社区土地模型5.0(CLM 5.0)-SIMUTION LST。在一个城市主导地区(中国武汉市)和自然主导地区(中国海河流域)实施了评估,在准确性,空间可变性和日颞动力学方面。结果表明,熔融LST与实际LANDSAT LST数据(原位LST测量)高于Pearson相关系数,在0.94(0.97-0.99)方面,平均绝对误差为0.71-0.98k(0.82-3.17 k )和根平均误差为0.97-1.26 k(1.09-3.97 k)。
translated by 谷歌翻译
戴着面具已被证明是防止SARS-COV-2冠状病毒传播最有效的方法之一。然而,佩戴掩模对不同的面部识别任务构成挑战,并提高了关于掩蔽面部呈现检测(焊盘)的性能的担忧。面向面膜面板面临的主要问题是错误分类的Bona Fide掩盖面,错误分类的部分攻击(由真实面具覆盖)。这项工作通过提出考虑部分攻击标签来监督垫模型培训的方法,以及区域加权推理,通过改变对不同面部区域的关注来进一步改善垫性能的方法来解决这些问题。我们所提出的方法与特定网络架构没有直接链接,因此可以直接纳入任何常见或定制设计的网络。在我们的工作中,选择了两个神经网络(DeepPixbis和MixfaceNet)作为骨干。在协作实际掩模攻击(CRMA)数据库上证明了实验。我们所提出的方法通过减少面向遮阳面时的缺点来优于CRMA数据库中的建立的焊盘方法。此外,我们提出了一个详细的逐步消融研究,指出了所提出的概念对整体垫性能的个人和联合益处。
translated by 谷歌翻译
随着在我们日常生活中的面部识别系统的部署增加,面部呈现攻击检测(PAD)在保护面部识别系统中吸引了很多关注并发挥着关键作用。尽管通过在数据集中的手工制作和基于深度学习的方法方面取得了巨大表现,但在处理看不见场景时的性能下降。在这项工作中,我们提出了一种双流卷积神经网络(CNNS)框架。一个流适应四种学习频率滤波器,以学习频域中的特征,这些功能域不太受传感器/照明的变化的影响。另一个流利用RGB图像来补充频域的特征。此外,我们提出了分层关注模块集成,通过考虑CNN的不同层中的深度特征的性质,在不同阶段中加入来自两个流的信息。在数据集内和交叉数据集设置中评估所提出的方法,结果表明,我们所提出的方法在与最先进的最先进的最新的大多数实验装置中提高了最平移,包括明确为域适应设计的方法/换档问题。我们成功证明了我们提出的垫解决方案的设计,在一步的融合研究中,涉及我们所提出的学习频率分解,我们的分层注意模块设计和使用的损耗功能。培训码和预先接受训练的型号是公开发布的
translated by 谷歌翻译
面部面罩已成为减少Covid-19传输的主要方法之一。这使得面部识别(FR)成为一个具有挑战性的任务,因为掩模隐藏了几个面孔的鉴别特征。此外,面部呈现攻击检测(PAD)至关重要,以确保FR系统的安全性。与越来越多的蒙面的FR研究相比,尚未探索面部遮蔽攻击对垫的影响。因此,我们提出了与戴上面具的主题和攻击的真正面罩的新型攻击,以反映当前的现实情况。此外,本研究通过在不同的实验设置下使用七种最新的垫算法来研究屏蔽攻击对垫性能的影响。我们还评估FR系统漏洞屏蔽攻击。实验表明,真正掩盖的攻击对FR系统的操作和安全构成了严重威胁。
translated by 谷歌翻译